Лекция №6
Математические методы решения задач оптимального управления.
Изучение любой человеческой деятельности можно проводить как исследование ситуаций, в которых необходимо принимать решения, т.е. ситуаций, в которых один человек или коллектив сталкивается с необходимостью выбора одного из возможных разумных способов поведения.
Ситуацию будем называть проблемной, если число возможных разумных способов действия в этой ситуации превышает единицу. Множество возможных решений может быть конечным или бесконечным: счетным или несчетным. В последнем случае говорят о пространстве решений.
При решении экстремальных задач методами классического анализа используется тот факт, что точка х* (см. рис. 44 а,б,в), доставляющая экстремальное значение функции f(x), заданной в интервале[a,b], есть либо стационарная точка, либо точка, где производная от функции не определена, либо одна из двух крайних точек области определения [a,b].

Рис. 44(а,б,в) Примеры функций для решения экстремальных задач
Использование классических методов описания экстремальных точек при решении практических задач оптимального управления наталкивается на ряд трудностей, часть из которых связана лишь с усложнением процедуры отыскания экстремума, и.е. носят технический характер, другие являются принципиальными.
Например, во многих практических случаях аналитическое представление функции может быть весьма сложным, что существенно затрудняет отношение стационарных точек S, и множества точек S
2, где производная от функции не определена. Вычислительная процедура резко усложняется с увеличением размерности задачи, т.к. в этом случае возникает необходимость решать систему соответствующего числа уравнений, получаемых после приравнивания нулю частных производных от исследуемой функции по каждой из переменной, т.е.: 
Кроме того, функция может иметь значительное число экстремальных точек по каждой переменной.
Наиболее выраженный экстремум называют глобальным. Т.е. этот экстремум является наибольшим из максимумов или наименьшим из минимумов функции. Другие экстремумы называют локальными.
Задача описания глобального экстремума является актуальной, если значения функции в точке, соответствующей глобальному экстремуму, существенно отличается от значений функций в локальных экстремумах. Многоэкстремальность функции приводит к тому, что система уравнений (1) имеет большое количество решений. При этом равенство нулю первой производной является необходимым по недостаточным условиям экстремума. Для отыскания экстремумов нужного смысла (максимума или минимума)
в каждой из точек необходимо осуществлять дополнительную проверку (например, исследовать знак второй производной). Поэтому задача отыскания экстремума может оказаться трудновыполнимой.Кроме этого, наличие одного или нескольких ограничений функций создает принципиальную трудность. Дело в том, что если экстремум функции достигается на краю области возможных значений аргументов, то первая производная функции в этих точках может быть не равна нулю. Поэтому дополнительно возникает задача анализа всех крайних точек.
Ограничения могут носить различный характер:
-прямые
ai << xi << bi i = 1, 2, … n
или
xi >> 0 i = 1, 2, … n
-и функциональные
gi (x1; x2; … xn) = 0 i = 1, 2, … m
Если вектор решения имеет регулярность n, то при наличии только прямых ограничений число крайних точек, которые необходимо исследовать равно 2
n. Если среди ограничений есть и функциональные, то число крайних точек становится бесконечным и их непосредственный перебор неосуществим.6.1. Методы решения экстремальных задач при отсутствии ограничений.
6.1.1. Релаксационный метод
Трудности, связанные с отысканием экстремумов функции могут быть преодолены если исходную задачу заменить совокупностью более простых задач. При этом может быть использован релаксационный метод.
Пусть задана непрерывная дифференцируемая функция F (x
1, x2, … xn), для которой необходимо найти экстремальное значение.Выберем произвольную точку X
(0) = (x1(0); x2(0), … xn(0))в области определения функции F(x).
l
1 = х1х
2 = 2 l 12
l 1 + 2 l 1 = сl
1 = с/4х
1 = с/4х
2 = с/2Зафиксировав численные значения переменных (х
2(0), х3(0), … хn(0)) будем изменять переменную х1, отыскивая экстремальное значение функции одной переменной F (х1, х2(0), х3(0), … хn(0)). Для этого достаточно решить уравнение:¶
F (х1, х2(0), х3(0), … хn(0))х1 = 0
И осуществить анализ выявленных стационарных точек.
Пусть экстремальное значение функции F (х
1, х2(0), х3(0), … хn(0)) достигается при х1 = х1(1). Фиксируя набор (х1(1), х3(0), … хn(0)) осуществляется вариация по х2 для отыскания экстремума функции F (х1(1), х3(0), … хn(0)) в результате получаем х2(1) и т.д. В результате получается набор (х1(1), х2(1), … хn(1)) и осуществляется вариация по х1 и т.д.Естественным признаком окончания процедуры является равенство нулю первых производных от F(x) по всем переменным в точке, полученной в результате проведения последнего релаксационного шага.
В простейших случаях экстремум достигается за один шаг.
6.1.2. Градиентный метод.
Пусть y = f (x) (см. рис. 45)

Выберем произвольную точку х в области определения функции y=f(x). Заметим, что если точка х выбрана слева от точки максимума, например, х
1, то производная от f(x) в точке хi будет >0, т.е.d f(x) >0
dx
x=x1
И поэтому точка х
d f(x)
х = х
1 + k dxпри разумном выборе параметра k находится ближе к экстремальной точке х
0 чем точка х1.Если же выбранная точка оказалась правее точки х
0, тоd f (x)
d x < 0 и та же конструкция х, а именно:
d f(x)
х = х
2 + k dx х = х2по прежнему приближает решение к экстремальной точке.
Таким образом, может быть построена последовательность точек х
(1), х(2),х
(3), … х(l), х(l+1), вычисляемых по правилуdf(x)
х
(l+1) = х(l) + k dx x=x(l)Стягивающихся к искомой экстремальной точке х0.
Сходимость решения обеспечивается рациональным выбором численного значения параметра k, определяющего длину шага.
Длина шага определяется из следующих соображений:
6.1.3. Метод неопределенных множителей Лагранжа.
Пусть задача состоит в описании вектора X. Доставляющее экстремальное значение целевой функции
F(X) = F (x1, x2, … xn) 1)
и удовлетворяющих системе ограничений
g1 (x1, x2, … xm) = 0
g2 (x1, x2, … xm) = 0 2)
. . . . . . .
g
m (x1, x2, … xm) = 0Выделим m произвольных переменных и решим m уравнений 2) относительно этих переменных. В результате переменные x
1, x2, … xm будут выражены через переменные xm+1; xm+2; … xn. Подставив полученные значения для x1; x2; … xm в 1) возьмем частные производные от функции 1) по переменным xm+1; xm+2; … xn.В результате получаем:
¶ F(x)
¶
xm+1 = 0 3)…
¶ F(x)
¶ xn = 0
С m+1 n количеством неизвестных. Таким образом, получено меньшее количество уравнений. Но трудности возникают с решением уравнений 2), поэтому чаще поступают иначе.
Для определения экстремума целевой функции вводят так называемые неопределенные множители Лагранжа.
Пусть задача остается такой же.
Сформируем функцию Лагранжа следующим образом:
m
Ф (X,
L ) = F(X) - S l i gi (X) 4)i=1
где
l i - неопределенные множители Лагранжа.
Теперь исходная задача отыскания условного экстремума F(X) (без учета ограничений) заменяется задачей безусловного экстремума функции Лагранжа Ф(Х,
L ), которая может быть решена путем взятия частных производных и приравнивания их нулю.
При этом получаем систему и n+m уравнений с таким же числом неизвестных
¶ Ф(Х, L ) ¶ F(X) m ¶ gi (X)
¶ xi = ¶ xi - S l i ¶ xi =0 5)
i=1
¶ Ф(Х, L )
¶ l i = -gi (X) = 0
Пусть имеется область S, состоящая из Х, которые удовлетворяют ограничениям 2). Тогда очевидно, что для любого Х внутри этой области выполняется равенство:
Ф (Х,
L ) = F(X) 6)С другой стороны экстремальная точка функции Лагранжа также должна находиться внутри области S. Отсюда получаем требуемое: экстремальная точка функции Лагранжа Ф(Х,
L ), получаемая в результате решения системы уравнений 5), определяет набор стационарных экстремальных точек хi*, одновременно удовлетворяющих ограничениям 2) и доставляющих экстремум целевой функции 1).6.2. Элементы вариационного исчисления
6.2.1. Постановка задачи оптимального управления
Состояние системы в любой момент времени можно характеризовать с помощью набора численных значений координат в фазовом пространстве Х, а эволюцию системы – траекторий в этом пространстве:
Х(t) = (х
1(t), х2(t),… хn(t))В реальных системах на каждую из координат обычно накладываются некоторые ограничения определяющие возможный (или допустимый) диапазон изменения соответствующего параметра системы. При этом в фазовом пространстве выбирается некоторая область, каждая точка которой соответствует разрешенному состоянию системы. Эту область называют областью допустимых значений параметров (или S-область).
Эффективность функционирования системы характеризуется критерием, устанавливающим степень приспосабливаемости системы для решения поставленных перед ней задач. Численное значение критерия определяется качеством управления, которое, в свою очередь, характеризуется законом изменения управляющих воздействий на систему.
По аналогии с фазовым пространством состояний введем пространство управлений U с числом измерений r, равным числу независимых управляющих воздействий. Тогда закон изменения управляющих воздействий может быть определен следующим уравнением:
U(t) = (U1(t); U2(t); … Ur(t))
Поскольку возможные значения параметров управления ограничены, введем в пространстве управлений область допустимых управлений (область
W ).Любой процесс управления отображается одновременно траекториями в пространствах Х и U. Траектория в пространстве U выбирается в процессе управления, траектория же в пространстве Х для заданной системы определяется выбором траектории из U.
Любое реальное движение системы отображается траекториями, не выходящими за пределы областей S и
W . Из ограниченности областей S и W следует, что система не может переходить мгновенно из одного состояния системы в другое. (Требуется бесконечно большое изменение некоторых координат системы.) В то же время управляющие воздействия могут, оставаясь в пределах допустимой области W , изменяться скачком.Задача оптимального управления формулируется следующим образом:
Требуется отыскать управление U*(t)=(U
1(t), U2(t),…Ur(t)), принадлежащее W -области, доставляющее экстремальное значение некоторому критерию эффективности Ф и обладающее тем свойством, что соответствующая выбранному управлению траекторияХ(t) = (х
1(t), х2(t), … хn(t))в фазовом пространстве принадлежит S-области.
Таким образом, численное значение критерия эффективности зависит от характера функций U(t) и Х(t), т.к.
Ф = Ф [V(t), X(t)]
при этом говорят, что Ф[V(t), X(t)] есть функционал V(t) и X(t). Т.е J=Ф[х
2(t)].Во многих случаях ограничения на Х(t) сводятся к тому, что траектория системы должна проходить через две заданные точки, например,
Х(tн) = Хн и Х(tк) = Хк
В этих случаях говорят о решении задач с закрепленными концами.
6.2.2. Основные принципы вариационного исчисления.
Пусть задан функционал вида:
x2
J =
т F (x, y(x), y’(x)) dxx1
Зависящий от функции у(х), определенной на интервале (х
1,х2). Необходимо отыскать непрерывную функцию у(х) с непрерывной первой производной, проходящую через две фиксированные точки (х1, у(х1)) и (х2, у(х2)) и доставляющую экстремум функционалу (1).Способ решения состоит в следующем. Сначала предполагают, что искомая максимизирующая функция у(х) уже найдена. Тогда любое отклонение от у(х) дает меньшее значение у. Выбирается любая функция z(х), которая обращается в нуль при х=х
1 и х=х2 и образуетсяу*(х) = у(х) +
e z(х).e
- малый параметрz(х) – называют вариацией функции у(х) и обозначают
d у.Подставляя у*(х) вместо у(х) в функционал (1), получаем:
x2
J =
т (x1y + e z, у’ + e z) dx (2)x1
Функционал (2) для выбранной функции z(х) зависит только от
e . Так как J(e ) достигает максимума при e =0, то производная по e при e =0 должна обращаться в нуль, т.е.
(5) представляет собой нелинейное дифференциальное уравнение второго порядка, интегрировать которое довольно сложно. В некоторых частных случаях интегрирование упрощается
x2
Y =
т F (y(x), y’(x)) dxx1
Тогда в (5)
¶ Fy’
Fy’x = ¶ x =0
И F
y – Fyy’y’ – Fy’y’y’’ = 0Умножим почленно правую и левую части уравнения (6) на у’:
Fy*y’ - Fyy’(y’)2 - Fy’y’y’’*y’ = Fy*y’ - Fy’*y’’ - y’’Fy’ - y’’ Fy’ - Fyy’(y’)2 - Fy’y’*y’*y’’ =
d
= dx (F – y’Fy’) = 0
Отсюда
F – y’Fy’ = c (7)
Уравнение не содержит явно х, поэтому может быть проинтегрировано.
x2
J =
т F (x, y’) dxx1
В этом случае уравнение Эйлера преобразуется к виду
Fy’x + Fy’y’*y’’ = 0
Или
d
dx Fy’ = 0
Отсюда
F y’ = C (8)
Уравнение (8) можно легко проинтегрировать
x2
J =
т F (y’) dxx1
Т.к. Fy = Fy’x = Fy’y = 0 и Fy’y’y’’ = 0, то y’’=0, т.к. Fy’*y’.
Тогда y = С
1 x + C2 - семейство прямых линий.6.3. Принцип максимума Понтрягина
Принцип максимума используется для отыскания оптимальных уравнений в системах, поведение которых описывается системой дифференциальных уравнений:
dx1
dt = f1 (x1, x2, … x1; u1, u2, … ur)
. . . . . (9)
dxn
dt = fn (x1, x2, … xn; u1, u2, … ur)
В компактном виде уравнение (9) может быть записано так:
dX
dt = f (X,U).
U(t) – принадлежит области
W , X(t) – принаджлежит области S.Задача заключается в том, чтобы из кусочно-непрерывных уравнений выбрать такое U(t) внутри
W , что при перезоде из заданной начальной точкиX(t
н) = (х1н, х2н, … хnн)в заданную конечную точку
X(t
к) = (х1к, х2к, … хnк) функционалtк
J =
т f0 (x, V) dt. (11)tн
достигал максимума.
Для отыскания экстремума вводится дополнительная координата состояния
t
кx0(t) =
т f0 (X, U) dt.t
нтогда получаем систему уравнений
dxi
dt = fi (x1, x2, … xn; u1, u2 … ur) (10)
i = 0, 1, 2… n
Введение дополнительной координаты (х
0(t)) расширяет вектор состояния системы на единицу, т.е. получаем вектор~
X
№ (x0, x1, x2, … xn)И его производную

Запишем (10) в виде
~
dX
~dt = f (x,u)
вводится совокупность вспомогательных произвольных функций, наподобие неопределенных множителей Лагранжа, с помощью этих функций образуется функция Гамильтона
~ ~ n
H (
Y , X, V) = Y 0 (t) * f0 (x,u) + S Y i(t) * fi(x,u).i=1
Частные производные функции Гамильтона:

Отсюда принцип максимума Понтрягина может быть сформулирован следующим образом:
Для того, чтобы управление U*(t), переводящее систему из хн в хк было оптимальным, т.е. доставляло экстремум (минимум) функционалу (11), необходимо, чтобы при любом tн
<< t << tк :Существовала непрерывная ненулевая вектор-функция
Y (t) = (Y 0(t), Y 1(t), … Y n(t)) составляющие которой удовлетворяли бы системе уравнений:(12) Уравнение движения объекта

~
dx0
¶ H
2. Функция Гамильтона
~
~ nH (
Y , X,U) = S Y i (t) fi (x,u)i=0
достигал бы максимума по U(t) на управление U*(t).
3. в момент времени t=tк выполнялись соотношения
~
Y 0(tк) Ј 0; H (Y (tк), x(tк)) = 0.